Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness
被引用却未被咨询：法律思维链忠实性的反事实审计
🧭 CoT 忠实度反事实审计与红队评估
Lexsi Labs
反事实替换法律依据并解码隐藏状态，发现LLM命名法规与判决实际依赖严重脱节，且易受对抗指令操纵
📌 工作参考价值（4 点）
- 在推荐/广告场景让 LLM 生成推荐理由时，别把“提到某个特征/商品属性”当作模型真的基于该特征决策的证据；可借鉴反事实替换：把解释中提到的关键依据换成相反/无关项，看输出 item/排序是否改变，量化理由忠实度。
- 用隐藏状态探测/线性探针监测模型在生成解释前是否已定下答案，评估“解释是事后再找理由”的程度，对应生成式推荐解释是否只是装饰。
- 注意对抗指令注入：用户评论、商品描述、query 中可能隐藏指令，LLM可能高度顺从；在电商搜索/客服 Agent 场景要增加输入过滤和角色边界约束，尤其是生成推荐理由或审核决策时。
- 工程上，合规/审计所需的推荐或风控决策，不应以自然语言理由作为可靠审计日志，应记录底层特征、模型分数等结构化信号。